أقوم حاليًا بكتابة محلل أساسي لنكهة XML. كتمرين ، أقوم بتطبيق محلل LL يحركه الجدول. هذا هو مثالي لقواعد BNF: ٪ سلسلة بيانات اسم الرمز المميز ٪٪ / * LL (1) * / doc: إليم إليم: "<" open_tag open_tag: اسم attr close_tag close_tag: ">" elem_or_data "" name ">" | "/>" ؛ elem_or_data: "<" open_tag elem_or_data | البيانات elem_or_data | / * إبسيلون * / ؛ attr: الاسم ":" Attr | / * إبسيلون * / ؛ هل هذا النحو صحيح؟ كل محطة حرفية بين الاقتباسات. يتم تحديد المحطات الطرفية المجردة بواسطة٪ token. أقوم بترميز lexer مكتوب بخط اليد لتحويل مدخلاتي إلى قائمة الرموز المميزة. كيف يمكنني ترميز المحطات المجردة؟
2021-03-03 08:10:23
تتمثل الطريقة التقليدية في كتابة تعبير عادي (أو أداة تمييز أخرى) لكل طرف محتمل. ما تسميه محطات "مجردة" ، وهي ملموسة تمامًا ، هي في الواقع محطات طرفية تتعرف أنماطها المرتبطة على أكثر من سلسلة إدخال محتملة. يجب تمرير السلسلة التي تم التعرف عليها بالفعل (أو بعض الوظائف المحسوبة لتلك السلسلة) إلى المحلل اللغوي كقيمة دلالية للرمز المميز. اسميًا ، في كل نقطة في سلسلة الإدخال ، سيعمل الرمز المميز على تشغيل جميع أدوات التعرف ويختار الشخص الذي يحتوي على أطول تطابق. (هذا هو ما يسمى بقاعدة "munch القصوى".) يمكن عادةً تحسين ذلك ، خاصةً إذا كانت جميع الأنماط عبارة عن تعبيرات عادية. (و) سيقوم lex بهذا التحسين نيابة عنك ، على سبيل المثال. من المضاعفات في حالتك أن ترميز لغتك يعتمد على السياق. على وجه الخصوص ، عندما يكون الهدف هو elem_or_data ، فإن الرموز المميزة الوحيدة الممكنة هي <و و "data". ومع ذلك ، داخل العلامة ، لا يمكن استخدام "البيانات" ، ويمكن استخدام علامتي "الاسم" و "السلسلة" (من بين أمور أخرى). من الممكن أيضًا أن يكون لقيمة السمة نفس الشكل المعجمي للمفتاح (أي الاسم). في XML نفسه ، يجب أن تكون قيمة السمة عبارة عن سلسلة مقتبسة وسيتم وضع علامة على استخدام سلسلة غير مقتبسة كخطأ ، ولكن هناك بالتأكيد لغات "شبيهة بـ XML" (مثل HTML) حيث يمكن إدراج قيم السمات بدون مسافة بيضاء غير مقتبس. نظرًا لأن التحليل المعجمي يعتمد على السياق ، يجب تمرير المحلل المعجمي (أو الوصول إلى) جزء إضافي من المعلومات التي تحدد السياق المعجمي. يتم تمثيل هذا عادةً كقيمة تعداد واحدة ، والتي يمكن حسابها بناءً على الرموز القليلة الأخيرة التي تم إرجاعها ، أو بناءً على المجموعة الأولى من مكدس المحلل اللغوي الحالي. 2 | اجابتك StackExchange.ifUsing ("Editor"، function () { StackExchange.using ("externalEditor"، function () { StackExchange.using ("snippets"، function () { StackExchange.snippets.init () ، }) ؛ }) ؛ }، "مقتطفات الشفرة")؛ StackExchange.ready (الوظيفة () { var channelOptions = { العلامات: "" .split ("") ، المعرف: "1" } ؛ initTagRenderer ("". split ("")، "" .split ("")، channelOptions) ؛ StackExchange.using ("externalEditor"، function () { // يجب إطلاق المحرر بعد المقتطفات ، إذا تم تمكين المقتطفات إذا (StackExchange.settings.snippets.snippetsEnabled) { StackExchange.using ("snippets"، function () { createEditor () ، }) ؛ } آخر { createEditor () ، } }) ؛ دالة createEditor () { StackExchange.prepareEditor ({ useStacks محرر: خطأ ، النوع: "إجابة" ، autoActivateHeartbeat: خطأ ، convertImagesToLinks: صحيح ، noModals: صحيح ، showLowRepImageUpload تحذير: صحيح ، السمعة في PostImages: 10 ، منع bindNav: صحيح ، postfix: ""، imageUploader: { brandingHtml: "مدعوم من \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.7256 4.916 4.928 46.0943 5.507 4.61182 46.7256 4.916 4.928 46.0943 5.507 4.61189 46.7256 4.928 46.0943.7562 4.61182 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.14194.47.14.018 12.695.923 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.545.55.820 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ " = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.66231 28.1105.4503.46031C28.9913 4.66231 28.1105.4005995 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.1256.1 24.850.2112.8346C28.1256.124.850 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.633579ZM24.13177.097 9.266 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.9512C16.26.8045 1313.8962C19.3298 13.8962 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.57809 4.89931 7.9466 5.5079C7.58314 4.9328 7.10506 4.66232 6.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5.00066 13.2535 5.47873 13.8962 6.51203 13.8962C7.54479 13.8962 8.0232 13.2535 8.0232 11.9512V8.90741C8.0232 7.58817 8.44431 6.91179 9.53458 6.91179C10.5104 6.91179 10.893 7.58817 10.893 8.94108V11.9512C10.893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 14.3365 6.91179 15.4269 6.91179C16.4027 6.91179 16.8045 7.58817 16.8045 8.94108V11.9512Z\"/\u003e\u003cpath d=\"M3.31675 6.59049C3.31675 5.28821 2.83866 4.66232 1.82471 4.66232C0.791758 4.66232 0.313354 5.28821 0.313354 6.59049V11.9512C0.313354 13.2535 0.791758 13.8962 1.82471 13.8962C2.85798 13.8962 3.31675 13.2535 3.31675 11.9512V6.59049Z\" /\u003e\u003cpath d=\"M1.87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 0.400291Z\" fill=\"#1BB76E\"/\u003e\u003c/svg\u003e\u003c/a\u003e", contentPolicyHtml: "User contributions licensed under \u003ca href=\"https://stackoverflow.com/help/licensing\"\u003ecc by-sa\u003c/a\u003e \u003ca href=\"https://stackoverflow.com/legal/content-policy\"\u003e(content policy)\u003c/a\u003e", allowUrls: true }, onDemand: true, discardSelector: ".discard-answer" ,immediatelyShowMarkdownHelp:true,enableTables:true,enableSnippets:true }); } }); Thanks for contributing an answer to Stack Overflow! Please be sure to answer the question. Provide details and share your research! But avoid … Asking for help, clarification, or responding to other answers. Making statements based on opinion; back them up with references or personal experience. To learn more, see our tips on writing great answers. Draft saved Draft discarded Sign up or log in StackExchange.ready(function () { StackExchange.helpers.onClickDraftSave('#login-link'); }); Sign up using Google Sign up using Facebook Sign up using Email and Password Submit Post as a guest Name Email Required, but never shown StackExchange.ready( function () { StackExchange.openid.initPostLogin('.new-post-login', 'https%3a%2f%2fstackoverflow.com%2fquestions%2f54745855%2ftokenize-abstract-terminals-in-ll-grammar%23new-answer', 'question_page'); } ); Post as a guest Name Email Required, but never shown Post Your Answer Discard By clicking “Post Your Answer”, you agree to our terms of service, privacy policy and cookie policy Not the answer you're looking for? Browse other questions tagged parsing lexer bnf ll recursive-descent or ask your own question.